Kagga được sinh ra ở Nairobi, Kenya với cha mẹ người Uganda làm nghề kỹ sư. Kagga là một người Muganda và là một phần của gia tộc cầm quyền truyền thống của bộ tộc Baganda, 'Bambejja' (công chúa). Kagga là người thứ ba trong số sáu người con của bố mẹ. Vào thời điểm sinh ra cô, cha mẹ cô đã lưu vong dưới thời chế độ của Tổng thống Idi Amin. Kagga lớn lên ở Uganda trong một gia đình khá giả. Ngoài cha và bà ngoại của cô, bốn anh chị em của cô cũng là kỹ sư. Kagga sống ở Kampala, Uganda với 3 đứa con. Cô thông thạo tiếng Anh và tiếng Luganda.